资讯频道 → 数据库
阅读更多

4顶
0踩

数据库

原创新闻 大数据时代的 9 大Key-Value存储数据库

2013-04-23 14:34 by 副主编 wangguo 评论(4) 有92375人浏览
键值 Key-Value NoSQL Redis

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。

一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的次数，比SQL数据库存储拥有更好的读写性能。

本文就为你介绍9种用于大数据处理的免费键值存储数据库。

1.  Aerospike 社区版



Aerospike是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。

Aerospike主要用于广告业务，作为一个服务器端的cookie存储来使用，在这种场景下读取和写入性能是至关重要的。

官网：http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/

相关资料：Documentation、FAQ、Blog、Forums

2.  LevelDB



Leveldb是Google开发的一个非常高效的kv数据库，支持billion级别的数据量，在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计，特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持，在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎，并部署在线上使用。

官网：http://code.google.com/p/leveldb/

相关资料：Benchmarks、Mailing List、Twitter

3.  Scalaris



Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统，提供的 API 包括：Java、Python、Ruby和JSON。

官网：http://scalaris.googlecode.com/

相关资料：Users and Developers Guide、FAQ、Mailing List

4.  Project Voldemort



Voldemort是一个分布式键值存储系统，是Amazon's Dynamo的一个开源克隆。特性如下：

  • 支持自动复制数据到多个服务器上。
  • 支持数据自动分割所以每个服务器只包含总数据的一个子集。
  • 提供服务器故障透明处理功能。
  • 支持可拨插的序化支持，以实现复杂的键-值存储，它能够很好的5.集成常用的序化框架如：Protocol Buffers、Thrift、Avro和Java Serialization。
  • 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
  • 每个节点相互独立，互不影响。
  • 支持可插拔的数据放置策略
官网：http://project-voldemort.com/

相关资料：Wiki、Mailing List、Github、Project Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort

5.  HyperDex



HyperDex是一个分布式、可搜索的键值存储系统，特性如下：

  • 分布式KV存储，系统性能能够随节点数目线性扩展
  • 吞吐和延时都能秒杀现在风头正劲的MonogDB，吞吐甚至强于Redis
  • 使用了hyperspace hashing技术，使得对存储的K-V的任意属性进行查询成为可能
官网：http://hyperdex.org/

相关资料：Documentation、Blog、GitHub、FAQ、Announcement Mailing List、Discussion Mailing List

6.  Berkeley DB



Berkeley DB是一个开源的文件数据库，介于关系数据库与内存数据库之间，使用方式与内存数据库类似，它提供的是一系列直接访问数据库的函数，而不是像关系数据库那样需要网络通讯、SQL解析等步骤。

官网：http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html

相关资料：Wiki、Forums、Launchpad

7.  Apache Accumulo



Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案，基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路，基于 Apache Hadoop、Zookeeper 和 Thrift 构建。

官网：http://accumulo.apache.org/

相关资料：Manual、Mailing Lists、Apache Accumulo Users Group

8.  Redis



Redis是一个高性能的key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）。与memcached一样，为了保证效率，数据都是缓存在内存中，区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了主从同步。

Redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端，使用很方便。

官网：http://redis.io/

相关资料：Documentation、Tutorials、FAQ、Mailing List、Twitter

9.  Apache Cassandra



Apache Cassandra是一个混合型的非关系数据库，它最初由Facebook开发，用于储存特别大的数据。

Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其它节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加节点就可以了。

官网：http://cassandra.apache.org/

相关资料：Wiki、Getting Started

Via linuxlinks
  • 大小: 2.1 KB
  • 大小: 9.9 KB
  • 大小: 6.3 KB
  • 大小: 23.2 KB
  • 大小: 6.4 KB
  • 大小: 11.1 KB
  • 大小: 11.2 KB
  • 大小: 13.9 KB
  • 大小: 9.2 KB
4
顶
0
踩
评论 共 4 条 请登录后发表评论
4 楼 zuoguiyefengliu 2016-11-02 11:03
huang_yong 写道
怎么没有看到Memcached、MongoDB？


mongoDB不是key-value数据库是文档型数据库
3 楼 huang_yong 2014-04-10 23:36
sp42 写道
huang_yong 写道
怎么没有看到Memcached、MongoDB？
9494

我都回忆不起来一年前竟然评论过这篇，哈哈！
2 楼 sp42 2014-04-08 22:03
huang_yong 写道
怎么没有看到Memcached、MongoDB？
9494
1 楼 huang_yong 2013-05-02 12:30
怎么没有看到Memcached、MongoDB？

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • (转)[转]大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少...

  • [转]大数据时代的 9 大Key-Value存储数据库

     一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写...

  • 转载和积累系列 - 大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减

  • 从零开始设计键值数据库（KEY-VALUE STORE）

    键值存储（key-value store），也被称为键值数据库（key-value database），是一个非关系型数据库。每一个独特的标识符都被存储为一个带有相关值的键。这种数据配对被称为 "键-值 "对。 在一个键值对中，键必须是...

  • 大数据时代常用的几类Key-Value(NoSQL)数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写...

  • 高性能的Key-Value数据库：Redis

    NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。 随着互联网web- 0网站的兴起，传统的关系数据库在应付web- 0网站，特别是超大规模和高并发的SNS类型的web- 0纯...

  • Key-value数据库

    Key-value数据库是一种以键值对存储数据的一种数据库，...Redis是一个Key-Value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。另外redis是

  • 天然气汽车供气系统减压装置毕业设计（cad+设计方案）.zip

    天然气汽车供气系统减压装置毕业设计（cad+设计方案）

  • PHP+SQL考勤系统安全性实现(源代码+论文+答辩PPT+指导书)

    PHP+SQL考勤系统安全性实现(源代码+论文+答辩PPT+指导书)

  • NumPy 的用途是什么

    NumPy 的用途是什么

  • 毕业设计 基于javaweb的在线答题平台

    毕业设计 基于javaweb的在线答题平台

  • 基于MATLAB的pca人脸识别.zip

    基于MATLAB的pca人脸识别.zip

  • 课设毕设基于SSM的信息类课程教学知识管理系统LW+源码可运行.zip

    课设毕设基于SSM的系统源码可运行

  • JAVAWML信息查询与后端信息发布系统实现-WML信息查询设计(源代码+LW).zip

    JAVAWML信息查询与后端信息发布系统实现——WML信息查询设计(源代码+LW)

  • 毕业设计[整站程序]情感家园站 v3.0 For 个人版_qgweb30fp.zip

    毕业设计[整站程序]情感家园站 v3.0 For 个人版_qgweb30fp.zip

  • 熊猫脚本助手V1.8.zip

    可以自动刷课，执行重复的脚本工作，内有详细操作教程。支持WIN7---WIN10系统。

  • Java项目之实验室计算机故障报修系统（源码）

    Java项目之实验室计算机故障报修系统（源码） 开发语言：Java 框架：ssm 技术：JSP JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7（一定要5.7版本） 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea Maven包：Maven3.3.9

  • 使用hapi框架搭建 基于协同过滤的美食推荐系统——后台.zip

    协同过滤算法（Collaborative Filtering）是一种经典的推荐算法，其基本原理是“协同大家的反馈、评价和意见，一起对海量的信息进行过滤，从中筛选出用户可能感兴趣的信息”。它主要依赖于用户和物品之间的行为关系进行推荐。 协同过滤算法主要分为两类： 基于物品的协同过滤算法：给用户推荐与他之前喜欢的物品相似的物品。 基于用户的协同过滤算法：给用户推荐与他兴趣相似的用户喜欢的物品。 协同过滤算法的优点包括： 无需事先对商品或用户进行分类或标注，适用于各种类型的数据。 算法简单易懂，容易实现和部署。 推荐结果准确性较高，能够为用户提供个性化的推荐服务。 然而，协同过滤算法也存在一些缺点： 对数据量和数据质量要求较高，需要大量的历史数据和较高的数据质量。 容易受到“冷启动”问题的影响，即对新用户或新商品的推荐效果较差。 存在“同质化”问题，即推荐结果容易出现重复或相似的情况。 协同过滤算法在多个场景中有广泛的应用，如电商推荐系统、社交网络推荐和视频推荐系统等。在这些场景中，协同过滤算法可以根据用户的历史行为数据，推荐与用户兴趣相似的商品、用户或内容，从而提高用户的购买转化率、活跃度和社交体验。 未来，协同过滤算法的发展方向可能是结合其他推荐算法形成混合推荐系统，以充分发挥各算法的优势。

  • JAVAWEB校园二手平台项目.zip

    JAVAWEB校园二手平台项目，基本功能包括：个人信息、商品管理；交易商品板块管理等。本系统结构如下： （1）本月推荐交易板块： 电脑及配件：实现对该类商品的查询、用户留言功能 通讯器材：实现对该类商品的查询、用户留言功能 视听设备：实现对该类商品的查询、用户留言功能 书籍报刊：实现对该类商品的查询、用户留言功能 生活服务：实现对该类商品的查询、用户留言功能 房屋信息：实现对该类商品的查询、用户留言功能 交通工具：实现对该类商品的查询、用户留言功能 其他商品：实现对该类商品的查询、用户留言功能 （2）载入个人用户： 用户登陆 用户注册 （3）个人平台： 信息管理：实现对商品的删除、修改、查询功能 添加二手信息：实现对新商品的添加 修改个人资料：实现对用户个人信息的修改 注销

Global site tag (gtag.js) - Google Analytics